dOPSD: On-Policy Self-Distillation for Diffusion Language Models
dOPSD：基于去噪轨迹自蒸馏的扩散语言模型训练方法
🧭 扩散语言模型 · 在线策略自蒸馏 ★ 深度解读
National University of Singapore
将去噪轨迹的后续步骤作为特权信息进行在线自蒸馏，提升扩散语言模型的推理与泛化能力
📌 工作参考价值（4 点）
- 为生成式推荐中的扩散模型提供训练思路：若采用扩散模型生成Semantic ID或物品序列，可将解码轨迹的后续更“确信”状态作为教师信号，在掩码位置进行蒸馏，无须外部标注，实现纯在线自蒸馏，缓解曝光偏差。
- 通用在线蒸馏技巧：学生状态取随机真实解码步（非随机掩码完成序列），保证训练分布与推理一致。前向KL做主散度比反向KL更有效，因为可覆盖教师分布全貌，针对序列生成任务可优先选用。
- 无标注场景也可用：即使没有答案验证器，只从所有rollout中蒸馏仍能带来提升；验证器仅用于进一步筛选正确轨迹，可显著增加收益，但非强制，适用于推荐中缺乏强监督信号的情形。
- 可迁移至Agent动作序列训练：若将Agent行为建模为掩码序列去噪过程，可利用轨迹内后续步骤呈现的“全局视野”对早期动作提供弱监督指导，无需外部环境奖励或标注。